Deep HMResNet Model for Human Activity-Aware Robotic Systems

Endowing the robotic systems with cognitive capabilities for recognizing daily activities of humans is an important challenge, which requires sophisticated and novel approaches. Most of the proposed approaches explore pattern recognition techniques which are generally based on hand-crafted features or learned features. In this paper, a novel Hierarchal Multichannel Deep Residual Network (HMResNet) model is proposed for robotic systems to recognize daily human activities in the ambient environments. The introduced model is comprised of multilevel fusion layers. The proposed Multichannel 1D Deep Residual Network model is, at the features level, combined with a Bottleneck MLP neural network to automatically extract robust features regardless of the hardware configuration and, at the decision level, is fully connected with an MLP neural network to recognize daily human activities. Empirical experiments on real-world datasets and an online demonstration are used for validating the proposed model. Results demonstrated that the proposed model outperforms the baseline models in daily human activity recognition.Comment: Presented at AI-HRI AAAI-FSS, 2018 (arXiv:1809.06606

Knowledge modeling and reasoning based on spatio-temporal ontologies : application to ambient assisted-robotics

Dans cette thèse, nous proposons un cadre générique pour la modélisation et la gestion du contexte dans le cadre des systèmes intelligents ambiants et robotiques. Les connaissances contextuelles considérées sont de plusieurs types et issues de perceptions multimodales : connaissances spatiales et/ou temporelles, changement d’états et de propriétés d’entités, énoncés en langage naturel. Pour ce faire, nous avons proposé une extension du langage NKRL (Narrative Knowledge Representation and Reasoning) pour parvenir à une représentation unifiée des connaissances contextuelles qu’elles soient spatiales, temporelles ou spatio-temporelles et effectuer les raisonnements associés. Nous avons exploité l’expressivité des ontologies n-aires sur lesquelles repose le langage NKRL pour pallier aux problèmes rencontrés dans les approches de représentation des connaissances spatiales et dynamiques à base d’ontologies binaires, communément utilisées en intelligence ambiante et en robotique. Il en résulte une modélisation plus riche, plus fine et plus cohérente du contexte permettant une meilleure adaptation des services d’assistance à l’utilisateur dans le cadre des systèmes intelligents ambiants et robotiques. La première contribution concerne la modélisation des connaissances spatiales et/ou temporelles et des changements de contexte, et les inférences spatiales, temporelles ou spatio-temporelles. La deuxième contribution concerne, quant à elle, le développement d’une méthodologie permettant d’effectuer un traitement syntaxique et une annotation sémantique pour extraire, à partir d’un énoncé en langage naturel, des connaissances contextuelles spatiales ou temporelles en NKRL. Ces contributions ont été validées et évaluées en termes de performances (temps de traitement, taux d’erreurs, et taux de satisfaction des usagers) dans le cadre de scénarios mettant en œuvre différentes formes de services : assistance au bien-être, assistance de type aide sociale, assistance à la préparation d’un repasIn this thesis, we propose a generic framework for modeling and managing the context in ambient and robotic intelligent systems. The contextual knowledge considered is of several types and derived from multimodal perceptions : spatial and / or temporal knowledge, change of states and properties of entities, statements in natural language. To do this, we proposed an extension of the Narrative Knowledge Representation and Reasoning (NKRL) language to reach a unified representation of contextual knowledge whether spatial, temporal or spatio-temporal and perform the associated reasoning. We have exploited the expressiveness of the n-ary ontologies on which the NKRL language is based to bearing on the problems encountered in the spatial and dynamic knowledge representation approaches based on binary ontologies, commonly used in ambient intelligence and robotics. The result is a richer, finer and more coherent modeling of the context allowing a better adaptation of user assistance services in the context of ambient and robotic intelligent systems. The first contribution concerns the modeling of spatial and / or temporal knowledge and contextual changes, and spatial, temporal or spatial-temporal inferences. The second contribution concerns the development of a methodology allowing to carry out a syntactic treatment and a semantic annotation to extract, from a statement in natural language, spatial or temporal contextual knowledge in NKRL. These contributions have been validated and evaluated in terms of performance (processing time, error rate, and user satisfaction rate) in scenarios involving different forms of services: wellbeing assistance, social assistance, assistance with the preparation of a mea